[動画公開] アプリから集まるイベントデータのリアルタイム処理入門 #devio2020

現在開催中のクラスメソッド主催のオンライン技術イベント「Developers.IO 2020 CONNECT」で、アプリから集まるイベントデータのリアルタイム処理入門に関するセッション動画を公開しました。

概要

ウェブアプリやネイティブアプリではユーザの操作により様々なデータを収集することが可能です。データの収集や加工、分析を行うにあたり、まず思いつくのがリアルタイムデータ処理のような技術かと思います。便利そうだけども、難しそう...みたいな印象を個人的に持っていたので、リアルタイムデータ処理の用語や概念からAWSでのアーキテクチャまで調べてみました。

動画

発表資料

さいごに

リアルタイムデータ処理を実現するストリーム処理は独特で複雑な概念が含まれているため、使ってみたいと思いつつも敬遠している方も多いのではないでしょうか。理解し難い内容も少しずつ理解していけば、漠然と抱いている不安も解消されるかと思います。そのほかのシステムと同様に、ストリーム処理もどの程度厳密にデータを処理するか、遅延を許容するかなどによって考慮すべきことや実装難易度が大きく変わります。まずは楽なところから試して活用し、アプリケーションでのユーザ体験をより良いものにしていきたいですね。

参考

• ストリーミングデータとは | AWS
• リアルタイムデータ処理を行うサーバーレスアプリケーションを構築する方法 | AWS
• Apache Flink 1.10 Documentation: Dataflow Programming Model
• Structured Streaming Programming Guide - Spark 3.0.0 Documentation